Xã Ngọc Sơn trước đây vốn thuộc huyện Tứ Kỳ, được thành lập từ năm 1945 trên cơ sở sáp nhập 3 xã cũ là Ngọc Lặc (có các thôn Vạn Hộ, Minh Kha), Phạm Xá, Mỹ Xá (tên nôm là Bùi, vốn có tên là Nguyễn Xá, đầu triều Nguyễn 1802 vì kiêng quốc tính nên đổi thành Mỹ Xá).

Ngày 19 tháng 3 năm 2008, Chính phủ ban hành Nghị định số 30/2008/NĐ-CP[3]. Theo đó, điều chỉnh 63,92 ha diện tích tự nhiên và 1.000 nhân khẩu của thôn Ngọc Lặc, xã Ngọc Sơn về phường Hải Tân thuộc thành phố Hải Dương quản lý.

Sau khi điều chỉnh địa giới hành chính, xã Ngọc Sơn còn lại 483,32 ha diện tích tự nhiên và 6.475 nhân khẩu.

Ngày 16 tháng 10 năm 2019, Ủy ban Thường vụ Quốc hội ban hành Nghị quyết số 788/NQ-UBTVQH14 về việc sắp xếp các đơn vị hành chính cấp huyện, cấp xã thuộc tỉnh Hải Dương (nghị quyết có hiệu lực từ ngày 1 tháng 12 năm 2019)[1]. Theo đó, chuyển toàn bộ diện tích và dân số của xã Ngọc Sơn về thành phố Hải Dương quản lý.